\chapter{Redes Recorrentes}
\label{LAB-REDE-HOPFIELD}
\section{Introdu\c{c}\~{a}o}

No cap\'{\i}tulo \ref{CAPRBF} considerou-se o uso de redes RBF na solu\c{c}\~{a}o de
mapeamentos multidimensionais. Foi mostrado tamb\'{e}m que a natureza do
treinamento estava ligado a um processo de invers\~{a}o matricial e que esta
invers\~{a}o apresentava estreita rela\c{c}\~{a}o com a solu\c{c}\~{a}o de problemas
mal colocados (Se\c{c}\~{a}o \ref{SECFRED}).

Apesar do problema alg\'{e}brico de invers\~{a}o matricial estar, de certa
forma, disfar\c{c}ado pelo pr\'{o}prio treinamento da rede RBF, modelos neurais
recorrentes v\^{e}m sendo empregados especificamente na solu\c{c}\~{a}o de
problemas deste tipo. Solu\c{c}\~{a}o de sistemas lineares \cite
{CICHOCKI9201,WANG9101,WANG9201,WANG9202}, problemas de
autovalores/autovetores \cite{CICHOCKI9202,WATERLAND9101}, decomposi\c{c}\~{a}o
LU \cite{WANG9304}, diagonaliza\c{c}\~{a}o \cite{BROCKETT9101} e invers\~{a}o
matricial \cite{JANG8801,ZHENG9201,WANG9302,WANG9701,VEMURI9201} s\~{a}o alguns
exemplos que podem ser encontrados na literatura. 

Em geral, a liga\c{c}\~{a}o do problema alg\'{e}brico com redes recorrentes \'{e}
feita atrav\'{e}s da sua transforma\c{c}\~{a}o em um problema de otimiza\c{c}\~{a}o,
ou seja, o problema alg\'{e}brico passa a ser modelado como uma fun\c{c}\~{a}o de
custo. Isto ir\'{a} permitir que redes de Hopfield \cite{HOPFIELD8201} e
Boltzmann \cite{SEJNOWSKI8501} possam ser aplicadas na sua solu\c{c}\~{a}o, como
ser\'{a} visto posteriormente.

Estes \'{u}ltimos modelos neurais, na realidade muito pr\'{o}ximos um do outro
(podendo a rede de Boltzmann ser considerada como uma generaliza\c{c}\~{a}o da
rede de Hopfield), apresentam duas caracter\'{\i}sticas muito importantes: a
rede pode ser representada por uma fun\c{c}\~{a}o de energia e, al\'{e}m disso,
possui um mecanismo de corre\c{c}\~{a}o de erro e generaliza\c{c}\~{a}o baseado na
exist\^{e}ncia de pontos fixos que funcionam como atratores \cite{HOPFIELD8201}%
. Estas caracter\'{\i}sticas ser\~{a}o fundamentais para a utiliza\c{c}\~{a}o de
redes recorrentes em problemas de otimiza\c{c}\~{a}o \cite{HOPFIELD8501} e,
consequentemente, em processos de invers\~{a}o matricial.

\section{Redes de Hopfield}

\subsection{Estrutura da rede}

O ponto de partida para o entendimento da rede de Hopfield \'{e} o artigo
inicial de Hopfield, de 1982 \cite{HOPFIELD8201}. Neste artigo, Hopfield
re\'{u}ne, de maneira precisa, v\'{a}rios id\'{e}ias relacionadas \`{a} cria\c{c}\~{a}o
de modelos neurais capazes de apresentar pontos est\'{a}veis no espa\c{c}o de
estados (chamados atratores). 

O modelo proposto por Hopfield apresenta nodos baseados no neur\^{o}nio
inicialmente descrito por McCulloch e Pitts \cite{MCCULLOCH4301}, ou seja,
nodos bin\'{a}rios (com $+1$ e $0$ como poss\'{\i}veis valores
\footnote{Apesar de estes terem sido os valores inicialmente utilizados por Hopfield, 
atualmente \'{e} mais comum se encontrar nodos bin\'{a}rios com valores $+1$ e $-1$}
) que apresentam
ativa\c{c}\~{a}o caso a soma de suas entradas atinjam um limiar estabelecido (%
\emph{threshold}). Al\'{e}m disso, o estado do \emph{i}-\'{e}simo neur\^{o}nio da
rede \'{e} representado da seguinte forma:

\begin{eqnarray*}
V_i^0 &\rightarrow & Nodo\ no\ estado\ 0 \\
V_i^1 &\rightarrow & Nodo\ no\ estado\ 1
\end{eqnarray*}

O modelo proposto possui nodos totalmente interconectados, sendo o peso da
conex\~{a}o entre o neur\^{o}nio $V_i$ e o neur\^{o}nio $V_j$ representado por 
$T_{ij}$. Al\'{e}m disso, as conex\~{o}es s\~{a}o sim\'{e}tricas ($T_{ij}=T_{ji}$) e
n\~{a}o existe uma conex\~{a}o do nodo para ele mesmo ($T_{ii}=0$). Os nodos
podem tamb\'{e}m receber entradas externas, representadas por $I_i$. A soma de
todas as entradas no \emph{i}-\'{e}simo nodo (considerando-se uma rede com $n$
neur\^{o}nios) pode ser dada por:

\begin{equation}
H_i=\sum_{j=1}^nT_{ij}V_j+I_i
\end{equation}

A regra de mudan\c{c}a de estados para o nodo, por sua vez, \'{e} representada
como a seguir:

\begin{eqnarray}
V_i^{} &\rightarrow &V_i^0\ \ se\ \  H_i<U_i \\
V_i^{} &\rightarrow &V_i^1\ \ se\ \  H_i\geq U_i  \nonumber
\end{eqnarray}

Neste caso, $U_i$ indica o limiar para o nodo \emph{i}.

Esquematicamente, esta rede pode mostrar-se como na Figura \ref{FIGHOPNET}
(representa\c{c}\~{a}o adotada por Haykin \cite{HAYKIN9401}).

\begin{figure}[!]
\begin{center}
\includegraphics[width=9cm,height=7cm]{hopnet1.ps}
\end{center}
\caption{Rede de Hopfield}
\label{FIGHOPNET}
\end{figure}

\subsection{Fun\c{c}\~{a}o de energia}

Outro fato bastante relevante no trabalho de Hopfield foi a introdu\c{c}\~{a}o
de uma fun\c{c}\~{a}o de energia capaz de representar a din\^{a}mica da rede e
provar a exist\^{e}ncia de estados est\'{a}veis (chamados \emph{atratores}). Os
atratores permitem um mecanismo de corre\c{c}\~{a}o de erros atrav\'{e}s da
exist\^{e}ncia de bacias de atra\c{c}\~{a}o ao seu redor. Assim,
colocando-se a rede em um estado inicial qualquer, depois de um certo tempo, 
a rede dever\'{a} estar em um de seus atratores. Em um artigo
posterior do pr\'{o}prio Hopfield \cite{HOPFIELD8501} podem ser vistos alguns
diagramas bidimensionais mostrando os atratores e suas respectivas bacias de
atra\c{c}\~{a}o.

Ao se considerar a rede com suas conex\~{o}es sim\'{e}tricas e a n\~{a}o
exist\^{e}ncia de conex\~{o}es do nodo para ele mesmo, obt\^{e}m-se uma condi\c{c}\~{a}o 
onde a fun\c{c}\~{a}o de energia utilizada por Hopfield para descrever a
rede sempre decresce quando a rede experimenta uma mudan\c{c}a de estado.
Isto se repete at\'{e} que a rede alcance um m\'{\i}nimo local. Esta fun\c{c}\~{a}o 
de energia, em sua forma original \cite{HOPFIELD8201}, \'{e} dada
por:

\begin{equation}
E=-\frac
12\sum_{i=1}^n\sum_{j=1}^nT_{ij}V_iV_j
\label{EQHOPENERGIAORIG}
\end{equation}

Em 1985, Hopfield e Tank \cite{HOPFIELD8501} introduziram pequenas 
altera\c{c}\~{o}es nesta fun\c{c}\~{a}o de energia, tornando-a mais adequada para a
aplica\c{c}\~{a}o em problemas de otimiza\c{c}\~{a}o. Sua nova representa\c{c}\~{a}o \'{e} a seguinte:

\begin{equation}
E=-\frac
12\sum_{i=1}^n\sum_{j=1}^nT_{ij}V_iV_j-\sum_{i=1}^nI_iV_i
\label{EQHOPENERGIA}
\end{equation}

Al\'{e}m disso, Hopfield mostra que a varia\c{c}\~{a}o de energia provocada pela
mudan\c{c}a de estado de um determinado nodo $i$ \'{e} dada por (basta derivar
a equa\c{c}\~{a}o anterior em rela\c{c}\~{a}o a um nodo espec\'{\i}fico):

\begin{equation}
\Delta E=-\left[ \sum_{j=1}^nT_{ij}V_j+I_i \right] \Delta V_i
\label{EQHOPVARENERGIA}
\end{equation}

Como $\Delta V_i$ possui sempre o mesmo sinal da express\~{a}o entre
par\^{e}nteses, $\Delta E$ \'{e} sempre negativo, ou seja, transi\c{c}\~{o}es de
estado sempre tendem a provocar diminui\c{c}\~{o}es na energia da rede, at\'{e}
que um estado est\'{a}vel seja alcan\c{c}ado \cite{HOPFIELD8501}.

Esta fun\c{c}\~{a}o de energia, dentro do contexto de sistemas din\^{a}micos \'{e}
conhecida como {\em Fun\c{c}\~{a}o de Lyapunov} \cite{ZURADA9201}. Outros nomes tamb\'{e}m usados
s\~{a}o \emph{Hamiltoniana} (da \'{a}rea de mec\^{a}nica estat\'{\i}stica) e \emph{%
Fun\c{c}\~{a}o de Custo} (problemas de otimiza\c{c}\~{a}o).

\subsection{Neurodin\^{a}mica}

A compreens\~{a}o do comportamento din\^{a}mico da rede de Hopfield pode ser
feita atrav\'{e}s do seu  modelo baseado em vari\'{a}veis cont\'{\i}nuas e com  uma rela\c{c}\~{a}o 
bem estreita com os sistemas biol\'{o}gicos \cite{HOPFIELD8401,HOPFIELD8501}. 
A rede passa a ser representada
por um sistema de equa\c{c}\~{o}es diferenciais, estando cada neur\^{o}nio
relacionado a uma das equa\c{c}\~{o}es do sistemas. Hopfield prop\~{o}e as
seguintes equa\c{c}\~{o}es:

\begin{equation}
C_i\left( \frac{du_i}{dt}\right) =\sum_{j=1}^nT_{ij}^{\prime }V_j^{\prime
}+I_i^{\prime }-\frac{u_i}{R_i}
\end{equation}

\begin{equation}
u_i=g_i^{-1}\left( V_i^{\prime }\right)
\end{equation}

Neste caso, $u_i$ modela o potencial de a\c{c}\~{a}o do neur\^{o}nio 
$i$, resultante da soma do potencial m\'{e}dio de todas as entradas. 
A constante $C_i$ \'{e}
a capacit\^{a}ncia de entrada da membrana do neur\^{o}nio e $R_i$ a sua resist\^{e}ncia. 
J\'{a} $\left(T_{ij}^{\prime }\right) ^{-1}$ representa o valor de imped\^{a}ncia para cada
entrada e a fun\c{c}\~{a}o $g_i$ indica a rela\c{c}\~{a}o de entrada e sa\'{\i}da
do neur\^{o}nio (sua fun\c{c}\~{a}o de transfer\^{e}ncia). Em geral, esta fun\c{c}\~{a}o 
\'{e} representada por uma sigm\'{o}ide ou tangente hiperb\'{o}lica:

\begin{eqnarray*}
Sigmo'ide: & g(x)=&\frac 1{1+e^{-x}} \\
Tangente\ hiperbo'lica: & g(x)=&\frac 1{1+\tan \left( x/2\right) }
\end{eqnarray*}

Estas equa\c{c}\~{o}es podem ser um pouco simplificadas ao se assumir todos os 
$C_i$ e $R_i$ constantes:

\[
\frac{du_i}{dt}=\frac 1C\sum_{j=1}^nT_{ij}^{\prime }V_j^{\prime
}+\frac{I_i^{\prime }}{C}-\frac{u_i}{RC} 
\]

O valor de $C$ pode ser embutido nas constantes $T_{ij}^{\prime }$ e 
$I_i^{\prime }$ e a equa\c{c}\~{a}o final se torna \cite{HOPFIELD8501}:

\begin{equation}
\frac{du_i}{dt}=\sum_{j=1}^nT_{ij}V_j+I_i-\frac{u_i}\tau  \label{EQHOP-DIN}
\end{equation}

\begin{equation}
u_i=g_i^{-1}\left( V_i\right)
\end{equation}

Onde $\tau =RC$.

Ao contr\'{a}rio da Equa\c{c}\~{a}o \ref{EQHOPENERGIA}, onde os pontos est\'{a}veis
s\~{a}o encontrados atrav\'{e}s de um processo de minimiza\c{c}\~{a}o que percorre
v\'{a}rios v\'{e}rtices do hipercubo representativo da rede, aqui \emph{\``o
processo de tomada de decis\~{a}o consiste de um movimento suave de um estado
inicial no interior do }[hipercubo]\emph{\ para um ponto est\'{a}vel pr\'{o}ximo
o suficiente de um dos v\'{e}rtices'' }(Hopfield \cite{HOPFIELD8501}).

\'{E} interessante notar que a varia\c{c}\~{a}o de energia (Equa\c{c}\~{a}o \ref
{EQHOPVARENERGIA}) em rela\c{c}\~{a}o a um determinado nodo \'{e} praticamente a
mesma equa\c{c}\~{a}o mostrada acima (a menos da constante $\tau $ e do seu
sinal). Considerando-se $\tau =1$, tem-se:

\[
\frac{\partial E}{\partial V_i}=-\sum_{j=1}^nT_{ij}V_j+I_i-U_i 
\]

E, consequentemente:

\begin{equation}
\frac{du_i}{dt}=-\frac{\partial E}{\partial V_i}  \label{EQENER2DIFER}
\end{equation}

Uma conclus\~{a}o importante do trabalho de Hopfield \'{e} que problemas de
otimiza\c{c}\~{a}o, de uma maneira geral, podem ser resolvidos utilizando-se
uma abordagem por RNAs.Para isto, basta que se represente a Equa\c{c}\~{a}o \ref
{EQHOPENERGIA} com valores adequados para os pesos entre conex\~{o}es ($T_{ij}$%
) e polariza\c{c}\~{a}o ($I_i$) \cite{HOPFIELD8501}. Isto pode ser feito por
compara\c{c}\~{a}o entre a fun\c{c}\~{a}o a otimizar e a Equa\c{c}\~{a}o \ref
{EQHOPENERGIA} (ver  \cite{PENNY9501}), de forma que os termos $T_{ij}$ e $I_j$ possam
ser descritos segundo a fun\c{c}\~{a}o de custo a minimizar. Com isso,
minimizar a energia da rede seria equivalente a minimizar a pr\'{o}pria fun\c{c}\~{a}o 
de custo.

\subsection{Fredholm e redes de Hopfield}

\subsubsection{Invers\~{a}o matricial}

Os resultados apresentados por Hopfield e sumariamente descritos na se\c{c}\~{a}o 
anterior evidenciam que entre um problema de otimiza\c{c}\~{a}o e a rede
de Hopfield existe uma t\^{e}nue barreira, que \'{e} a constru\c{c}\~{a}o da fun\c{c}\~{a}o 
de energia que representa o problema. Partindo desta id\'{e}ia, o
pr\'{o}prio processo de invers\~{a}o matricial, em especial os casos mal
condicionados, poderia ser feito desta forma caso se representasse a
invers\~{a}o como uma fun\c{c}\~{a}o de custo.

Um dos primeiros trabalhos que utilizam este princ\'{\i}pio para a invers\~{a}o
de matrizes \'{e} o de Jang \cite{JANG8801}. Neste trabalho, Jang prop\~{o}e uma
fun\c{c}\~{a}o de energia que representa a invers\~{a}o matricial e atrav\'{e}s de
sua analogia com a fun\c{c}\~{a}o de energia de Hopfield, constr\'{o}i uma rede
capaz de desempenhar esta tarefa. Trabalhos posteriores \cite
{ZHENG9201,WANG9302,WANG9303,WANG9701} tamb\'{e}m abordam o assunto de
invers\~{a}o matricial de maneira similar. Em especial, o artigo \cite
{WANG9701} modela a rede para resolver problemas de invers\~{a}o com rank
incompleto. Como este problema pode apresentar m\'{u}ltiplas solu\c{c}\~{o}es,
s\~{a}o propostas estrat\'{e}gias utilizando-se termos de penaliza\c{c}\~{a}o e
{\em Simulated Annealing} e, desta forma, estabilizar a solu\c{c}\~{a}o.

A solu\c{c}\~{a}o de equa\c{c}\~{o}es de Fredholm de primeira ordem (abordadas no
Cap\'{\i}tulo \ref{CAP-ILLPOSED}) e redes de Hopfield tamb\'{e}m j\'{a} foram objeto de
pesquisa no trabalho de Vemuri e Jang \cite{VEMURI9201}. Atrav\'{e}s de um
processo de quadratura \cite{WING9101}, a equa\c{c}\~{a}o de Fredholm pode ser
descrita como um sistema matricial (ver Equa\c{c}\~{a}o \ref{EQAXY}), transformando
a solu\c{c}\~{a}o da equa\c{c}\~{a}o de Fredholm em um problema de invers\~{a}o matricial. 
Vemuri e Jang
prop\~{o}em dois m\'{e}todos de solu\c{c}\~{a}o para este problema, ou seja, duas
fun\c{c}\~{o}es de energia capazes de resolver uma equa\c{c}\~{a}o do tipo $\mathbf{Ax}=\mathbf{b}$. 
Estes m\'{e}todos est\~{a}o descritos a seguir, sendo utilizada a nota\c{c}\~{a}o dos autores.

\begin{description}
\item[M\'{e}todo A: ]  Neste m\'{e}todo s\~{a}o necess\'{a}rias $n$ redes, sendo
uma rede para cada coluna de $\mathbf{A}$. Dessa forma a inversa de $\mathbf{A}$ pode se
obtida coluna por coluna e, consequentemente, o valor de $\mathbf{x}$. Para isto,
considere o sistema $\mathbf{Ax}=\mathbf{b}$ e $\mathbf{V}$ 
como a inversa de $\mathbf{A}$. Assuma tamb\'{e}m que
o sistema seja de ordem $n\times n$. Assim, temos que 
$(\mathbf{AV}-\mathbf{I})\rightarrow \mathbf{0}$
durante o processo de treinamento. O erro associado com a $k$-\'{e}sima coluna
de $\mathbf{V}$ pode ser dado por:

\begin{equation}
E_k={\frac 12}\left[ {\left( {\sum\limits_{j=1}^n{A_{1j}V_{jk}}}\right)
^2+\cdots +\left( {\sum\limits_{j=1}^n{A_{kj}V_{jk}}-1}\right) ^2+\cdots
+\left( {\sum\limits_{j=1}^n{A_{nj}V_{jk}}}\right) ^2}\right] 
\label{EQ-METODO-A}
\end{equation}

Para a solu\c{c}\~{a}o por Hopfield, \'{e} necess\'{a}rio que se construam os $n$
sistemas de equa\c{c}\~{o}es diferenciais. Isto pode ser feito com a ajuda da
Equa\c{c}\~{a}o \ref{EQENER2DIFER}. Considerando-se uma coluna qualquer de $\mathbf{A}$
(por exemplo, $k$), existir\~{a}o $n$ nodos, sendo cada um representado
por uma equa\c{c}\~{a}o diferencial \cite{VEMURI9201}:

\begin{equation}
\frac{du_{ik}}{dt}=-\frac \partial {\partial V_{ik}}E_k\left(
V_{1k},V_{2k},...,V_{nk}\right)   \label{EQDIF1}
\end{equation}

\begin{equation}
V_{ik}=g\left( u_{ik}\right) \qquad i,k=1,2,\ldots ,n  \label{EQFUNTRANS-A}
\end{equation}

A Equa\c{c}\~{a}o \ref{EQDIF1} pode ser expandida:

\[
\frac{du_{ik}}{dt}=-\frac{\partial E_k}{\partial V_{ik}}
\]

\[
\frac{du_{ik}}{dt}=-\left( \sum_{j=1}^nA_{1j}V_{jk}\right) A_{1i}-\left(
\sum_{j=1}^nA_{2j}V_{jk}\right) A_{2i}-\cdots --\left(
\sum_{j=1}^nA_{nj}V_{jk}\right) A_{ni}+A_{ki}
\]

Apesar Vemuri e Jang n\~{a}o demonstrarem, esta equa\c{c}\~{a}o pode ser agrupada
um pouco mais, de forma a facilitar a sua compara\c{c}\~{a}o com os termos
definidos por Hopfield:

\[
\frac{du_{ik}}{dt}=-\left( \sum_{m=1}^n\sum_{j=1}^nA_{mj}V_{jk}\right)
A_{mi}+A_{ki}
\]

\begin{equation}
\frac{du_{ik}}{dt}=-\sum_{m=1}^n\sum_{j=1}^nA_{mi}A_{mj}V_{jk}+A_{ki}
\label{EQCOMP-HOP-MET-A}
\end{equation}

Comparando-se as Equa\c{c}\~{o}es \ref{EQHOP-DIN} e \ref{EQCOMP-HOP-MET-A} e
considerando-se $\tau =1$, obt\^{e}m-se:

\begin{equation}
T_{ij}=\sum_{j=1}^nA_{mi}A_{mj}
\end{equation}

\begin{equation}
I_i=A_{ki}
\end{equation}

Sendo que a fun\c{c}\~{a}o de transfer\^{e}ncia dada pela Equa\c{c}\~{a}o \ref
{EQFUNTRANS-A} fornece o pr\'{o}ximo estado do sistema.

Este m\'{e}todo, al\'{e}m da desvantagem da constru\c{c}\~{a}o de $n$ redes, pode
n\~{a}o apresentar resultados muito bons caso o condicionamento de $\mathbf{A}$ seja
muito grande \cite{VEMURI9201}. Isto ocorre porque o objetivo do m\'{e}todo \'{e}
calcular a inversa de $\mathbf{A}$ que, devido ao mal-condicionamento, pode-se
apresentar muito sens\'{\i}vel \`{a} precis\~{a}o utilizada.

\item[M\'{e}todo B: ]  \label{SECMETB} Neste m\'{e}todo, ao inv\'{e}s de se encontrar a inversa
de $\mathbf{A}$ e depois multiplic\'{a}-la por $\mathbf{b}$ para obter a solu\c{c}\~{a}o, o valor de 
$\mathbf{x}$ \'{e} encontrado diretamente. Fazendo $\mathbf{V}$ agora um vetor coluna, quando se
tiver $(\mathbf{AV}-\mathbf{b})\rightarrow \mathbf{0}$, $\mathbf{V}$ dever\'{a} representar uma solu\c{c}\~{a}o do
sistema, ou seja, $\mathbf{x}=\mathbf{A^{+}b}$. A nova fun\c{c}\~{a}o de energia \'{e} ent\~{a}o
descrita como:

\begin{equation}
E={\frac 12}\left[ {\left( {\sum\limits_{j=1}^n{A_{1j}V_j-b_1}}\right)
^2+\left( {\sum\limits_{j=1}^n{A_{2j}V_j-b_2}}\right) ^2+\cdots +\left( {%
\sum\limits_{j=1}^n{A_{nj}V_j-b_n}}\right) ^2}\right] 
\label{EQ-METODO-B}
\end{equation}

A equa\c{c}\~{a}o diferencial que representa cada nodo \'{e} dadas agora por 
\cite{VEMURI9201}:

\begin{equation}
\frac{du_i}{dt}=-\frac \partial {\partial V_i}E\left( V_1,V_2,...,V_n\right) 
\label{EQDIF2}
\end{equation}

\begin{equation}
V_i=g\left( u\right) \qquad i=1,2,\ldots ,n  \label{EQFUNTRANS-B}
\end{equation}

A Equa\c{c}\~{a}o \ref{EQDIF2} pode ser expandida:

\[
\frac{du_i}{dt}=-\frac{\partial E}{\partial V_i}
\]

\[
\frac{du_i}{dt}=-\left( \sum_{j=1}^nA_{1j}V_j-b_1\right) A_{1i}-\left(
\sum_{j=1}^nA_{2j}V_j-b_2\right) A_{2i}-\cdots --\left(
\sum_{j=1}^nA_{nj}V_j-b_n\right) A_{ni}
\]

De novo, Vemuri e Jang n\~{a}o demonstram, mas esta equa\c{c}\~{a}o pode ser
simplificada, facilitando a compara\c{c}\~{a}o com os termos definidos por
Hopfield:

\[
\frac{du_i}{dt}=-\sum_{j=1}^nA_{1i}A_{1j}V_j+b_1A_{1i}-%
\sum_{j=1}^nA_{2i}A_{2j}V_j+b_2A_{2i}-\cdots
--\sum_{j=1}^nA_{ni}A_{nj}V_j+b_nA_{ni}
\]

\begin{equation}
\frac{du_i}{dt}=-\sum_{m=1}^n\sum_{j=1}^nA_{mi}A_{mj}V_j+%
\sum_{j=1}^nb_mA_{mi}  \label{EQCOMP-HOP-MET-B}
\end{equation}

Comparando-se as Equa\c{c}\~{o}es \ref{EQHOP-DIN} e \ref{EQCOMP-HOP-MET-B} e
considerando-se $\tau =1$, obt\^{e}m-se:

\begin{equation}
T_{ij}=\sum_{j=1}^nA_{mi}A_{mj}
\end{equation}

\begin{equation}
I_i=\sum_{j=1}^nb_mA_{mi}
\end{equation}

Sendo que a fun\c{c}\~{a}o de transfer\^{e}ncia dada pela Equa\c{c}\~{a}o \ref
{EQFUNTRANS-B} fornece o pr\'{o}ximo estado do sistema.
\end{description}

Neste m\'{e}todo n\~{a}o se deseja realizar uma inversa e sim descobrir a melhor
solu\c{c}\~{a}o. Desta forma, o resultado da rede \'{e} sempre o melhor resultado
para $\mathbf{x}$ \cite{VEMURI9201}.

Existem ainda alguns problemas pr\'{a}ticos na implementa\c{c}\~{a}o destes
m\'{e}todos citados por Vemuri e Jang. Um deles est\'{a} relacionado com a faixa
de excurs\~{a}o dos neur\^{o}nios. Foram implementados neur\^{o}nios que variam de
$-1$ a $+1$ mas a matriz $\mathbf{A}$ pode possuir valores fora desta faixa. Dessa forma,
esta matriz deve sofrer algum processo de escalonamento e ter seus valores dentro
da faixa din\^{a}mica permitida. Vemuri e Jang sugerem que $\mathbf{A}$ seja dividida
por um fator $k$, uma vez que \'{e} v\'{a}lida a seguinte rela\c{c}\~{a}o:

\[
\mathbf{Ax}=\left( k\mathbf{A}\right) \left( \mathbf{x}/k\right) 
\]

Como o resultado final $\mathbf{V}$ ser\'{a} equivalente a $\mathbf{x}$, basta multiplic\'{a}-lo
por $k$ para se obter o valor real de $\mathbf{V}$.

Outro problema se refere ao valor inicial utilizado. Vemuri e Jang notaram
que o ponto est\'{a}vel encontrado variava um pouco, dependendo da estimativa
inicial. Na tentativa de se descobrir um valor \'{o}timo para a estimativa
inicial, foram realizados v\'{a}rios treinamentos com a solu\c{c}\~{a}o inicial
partindo com valores aleatoriamente escolhidos entre $[-m,+m]$. Notou-se com
isso que o menor erro obtido entre a m\'{e}dia dos v\'{a}rios pontos est\'{a}veis
e o ponto est\'{a}vel com menor erro em um mesmo conjunto de treinamentos se
dava quando $m=0,001$. Este foi o valor utilizado para a gera\c{c}\~{a}o de
estimativas iniciais.

\subsubsection{Aplica\c{c}\~{a}o}

Como no artigo s\~{a}o apresentados apenas resultados de simula\c{c}\~{o}es
realizadas utilizando-se diversos m\'{e}todos de solu\c{c}\~{a}o de equa\c{c}\~{o}es
diferenciais, seria interessante mostrar fun\c{c}\~{o}es (no caso, para Matlab)
que implementassem os m\'{e}todos A e B. O Ap\^{e}ndice \ref{HOPDEMO} 
apresenta exemplos de fun\c{c}\~{o}es para estes m\'{e}todos e como utiliz\'{a}-las 
\`{a} partir de um programa em Matlab.

